Telegram Group & Telegram Channel
Как справляться с огромными пространствами поиска в генетических алгоритмах для нейросетей

Генетические алгоритмы исследуют гигантские пространства архитектур: каждая комбинация слоёв, активаций и гиперпараметров входит в возможное множество решений.

При масштабных сетях вычислительная стоимость быстро растёт — каждую архитектуру нужно хотя бы частично обучить для оценки пригодности.

Практические подходы:

➡️ Поэтапный (staged) поиск: сначала простые модели и ограниченный набор параметров, затем — расширение до более сложных конфигураций.

➡️ Суррогатные модели: замена оценки полноценной модели на прокси-оценку с помощью облегчённых сетей.

➡️ Раннее завершение обучения: сокращение количества эпох или досрочное завершение обучения при отсутствии улучшения.

Подводный камень:

➡️ Суррогаты и частичное обучение могут искажать оценку: некоторые архитектуры обучаются медленно, но в долгосрочной перспективе превосходят остальных.


Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/ds_interview_lib/914
Create:
Last Update:

Как справляться с огромными пространствами поиска в генетических алгоритмах для нейросетей

Генетические алгоритмы исследуют гигантские пространства архитектур: каждая комбинация слоёв, активаций и гиперпараметров входит в возможное множество решений.

При масштабных сетях вычислительная стоимость быстро растёт — каждую архитектуру нужно хотя бы частично обучить для оценки пригодности.

Практические подходы:

➡️ Поэтапный (staged) поиск: сначала простые модели и ограниченный набор параметров, затем — расширение до более сложных конфигураций.

➡️ Суррогатные модели: замена оценки полноценной модели на прокси-оценку с помощью облегчённых сетей.

➡️ Раннее завершение обучения: сокращение количества эпох или досрочное завершение обучения при отсутствии улучшения.

Подводный камень:

➡️ Суррогаты и частичное обучение могут искажать оценку: некоторые архитектуры обучаются медленно, но в долгосрочной перспективе превосходят остальных.


Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283

Share with your friend now:
tg-me.com/ds_interview_lib/914

View MORE
Open in Telegram


Библиотека собеса по Data Science | вопросы с собеседований Telegram | DID YOU KNOW?

Date: |

Telegram hopes to raise $1bn with a convertible bond private placement

The super secure UAE-based Telegram messenger service, developed by Russian-born software icon Pavel Durov, is looking to raise $1bn through a bond placement to a limited number of investors from Russia, Europe, Asia and the Middle East, the Kommersant daily reported citing unnamed sources on February 18, 2021.The issue reportedly comprises exchange bonds that could be converted into equity in the messaging service that is currently 100% owned by Durov and his brother Nikolai.Kommersant reports that the price of the conversion would be at a 10% discount to a potential IPO should it happen within five years.The minimum bond placement is said to be set at $50mn, but could be lowered to $10mn. Five-year bonds could carry an annual coupon of 7-8%.

Библиотека собеса по Data Science | вопросы с собеседований from fr


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM USA